1
使用者體驗、安全與生成式AI生命週期的基礎
AI011Lesson 5
00:00

建立值得信賴的生成式AI,需要在使用者體驗、強健的安全性,以及一種稱為 LLMOps的專門運營生命週期之間取得平衡。

1. 信任的使用者體驗

設計AI介面時,我們必須平衡四大使用者體驗支柱:易用性、可靠性、可及性與愉悅感。最終目標是達成 信任平衡

  • 不信任: 使用者因系統表現不佳或缺乏透明度而拒絕使用。
  • 過度信任: 使用者對AI的人類化程度抱持不切實際的期望,且未能驗證其輸出結果。

提供 可解釋性——即對AI如何產生特定輸出的透明度——對於緩解這兩種極端情況至關重要。

2. AI安全與漏洞

生成式AI帶來了傳統資安框架必須適應的獨特安全威脅(例如,使用MITRE ATLAS或針對LLM的OWASP十大風險):

  • 資料污染: 透過操控訓練或檢索資料來破壞模型的完整性(例如,標籤翻轉、特徵污染或資料注入)。
  • 提示注入: 惡意操控使用者輸入,以繞過安全防護機制,迫使模型執行未經授權的指令。

3. LLMOps生命週期

管理生成式AI應用程式需要一套專門的運營流程:

  • 構思階段: 利用PromptFlow等工具進行快速原型設計與假設測試。
  • 建構階段: 透過 檢索增強生成(RAG) 或微調,將模型與已驗證資料連結。
  • 部署階段: 持續監控如「接地性」(誠實度)與延遲等指標。例如,接地性可表示為 $G = \frac{\text{已驗證事實}}{\text{總陳述數}}$。
教學摩擦
有意地在介面中加入「摩擦」(如警告訊息或必備的驗證步驟),提醒使用者他們正在與人工智慧互動,有助於管理期待並減少過度信任。
llm_ops_monitor.py
TERMINALbash — 80x24
> Ready. Click "Run" to execute.
>
Question 1
What is the primary risk of "Overtrust" in a Generative AI system?
Users reject the system due to poor performance.
Users have unrealistic expectations and fail to verify AI limitations.
The system experiences slower latency during generation.
Hackers can easily inject malicious prompts.
Question 2
Which security threat involves compromising the training or retrieval data to trigger specific model failures?
Prompt Injection
Data Poisoning
Hallucination
Instructional Friction
Challenge: Medical AI Assistant
Apply UX and Security principles to a high-stakes scenario.
You are designing an AI assistant for a medical firm. You must ensure the data is safe and the user knows the AI's limits.
Task 1
Implement a design element to reduce overtrust.
Solution:
Add a disclaimer or "Instructional Friction" that requires the user to acknowledge the AI can hallucinate and that outputs should be verified by a medical professional.
Task 2
Define a metric to measure if the AI is making up facts.
Solution:
Implement a "Groundedness" or "Honesty" metric to compare the AI's outputs strictly against a verified medical knowledge base (e.g., using RAG).